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Технологический подход к проектированию 
параллельной обработки 


В статье предложен концептуальный подход и методика проектирования параллельных программ и 
метод ускоренной обработки данных. 


Введение 


Исследования в области информационных наук безграничны по направлениям, 
тематикам, уровням подходов (от философии до конкретных приложений). Однако 
сегодня в связи с ураганно-динамичным развитием событий во всех сферах мироздания 
для обеспечения устойчивого развития жизни на нашей планете (а может, и жизни 
вообще), в первую очередь, надо исследовать и разрабатывать вопросы, которые 
могут быть полезны человеку. 

Сегодня мир беспокоят различные проблемы, среди которых борьба (а лучше — 
профилактика) с различными заболеваниями, механизмы работы человеческого 
мозга (ряд исследователей пришли к заключению, что утверждение: возможности 
человеческого мозга мы используем только на 10 % — миф), последствия столкновения 
с кометами и астероидами (возможно, завершение существования жизни на Земле, а 
может, и планеты вообще) и ряд других. 

Решение одной из важнейших проблем, интересующих значительную часть 
научного мира, — механизм формирования памяти — может иметь существенное влияние 
на развитие различных областей нашей жизнедеятельности. В частности, решение 
задачи кодирования памяти открыло бы путь к созданию нового поколения интел- 
лектуальных компьютеров. 


Постановка задачи 


Попытки формализовать и решить указанные проблемы требуют создания 
совершенно новых методов и алгоритмов. Необходимы и новые построения в 
области Бгаш\таге, паг4\уаге, зойхмаге. 

Поиски последних лет привели к серьезным исследованиям и практическим 
разработкам систем параллельного действия в сфере параллельной обработки 
данных, вселяющим надежду, что перечисленные проблемы могут быть решены за 
разумное время. Однако многопроцессорные системы экономически эффективны 
лишь тогда, когда в обрабатываемой программе параллелизм задан изначально. 

Поэтому актуальной становится задача создания методики проектирования 
параллельных программ и поддерживающего его инструментария, позволяющего в 
значительной степени автоматизировать этот процесс. 
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Один из подходов к проектированию параллельной обработки представлен в 
данной статье. 

Целью статьи является создание механизма проектирования параллельных 
программ и метода обработки данных, которые позволили бы в значительной 
степени упростить процесс подготовки программ и данных для эффективной работы 
многопроцессорных и многоядерных обрабатывающих устройств. Появление много- 
ядерных процессоров сделало средства построения параллельных программ актуальными 
даже для персональных компьютеров. 

Применение многопроцессорных систем становится эффективным только при 
наличии такой программной поддержки их функционирования, которая обеспечила бы 
максимальную загрузку всех компонент. Важное влияние на общую производительность 
оказывают и используемые языки программирования. Потенциал применения современ- 
ных систем (кластеров, метакластеров и СКО) существенно зависит от качества 
подготовленных программ. 


Концептуальный подход 


На сегодняшний день начал активно использоваться МСЯ (Му @ргосеззог С) — 
язык программирования, расширяющий стандарт языка С# [1] как одного из 
интуитивно понятных для использования при проектировании параллельных программ, 
имеющий свои реализации под \Мтдо\з и Глпих-платформы. 

Предлагаемый ниже механизм создания инструментальной системы в значительной 
степени позволяет для заданной последовательной программы различать типы 
обрабатываемых фрагментов, характерных для определенного класса алгоритмов, 
базируется на выделении активных паттернов (т.е. готовых для обслуживания), их 
активизации и интеграции результатов обработки. 

В динамике идет наблюдение за состоянием паттернов активности с тем, чтобы 
формировать след вычислений конечного результата. Формирование следа дает 
возможность создавать контрольные точки, позволяющие в случае необходимости 
активизировать необходимые паттерны для аналогичной обработки, например, в 
случае обнаруженного сбоя или некорректного формирования интегрального результата. 
Это сродни наблюдению за процессом воспоминания о прошедших акциях. Количествен- 
ные измерения спонтанной реактивации паттернов позволяют решать задачу 
минимизации программных средств и требуемой памяти. 

Можно фиксировать различные типы обработки фрагментов исходной программы 
(линейный участок, ветвление, цикл, обращение к памяти и т.д.), используя для их 
интерпретации своеобразный многоугольник, число вершин которого равно количеству 
определяемых типов обработки до наступления состояния покоя. С каждой из его 
вершин может быть связан некоторый новый многоугольник (например, с вершиной 
цикла, может быть связан многоугольник, характеризующий тип цикла: простой цикл, с 
фиксированным повторением тела цикла, итерационный цикл и т.д.), детализирующий 
процесс обработки. 

Таким образом, выстраивается некоторая иерархическая структура (ИС), которую 
можно проецировать на реальную программу, создавая специализированную (адаптиро- 
ванную) иерархическую структуру, позволяющую сократить время обработки данных, 
варьируя глубиной вложения. 
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Научившись формировать ИС, характерную для выбранного класса алгоритмов, 
можно в значительной степени автоматизировать процесс параллельной обработки 
данных. Каждая конкретная акция над программой будет формировать конкретную 
последовательность событий, приводящих к активации необходимых паттернов. 
Таким образом, всегда информация о необходимой обработке будет представлена 
ансамблем паттернов, организованных иерархически по принципу от общего к частному. 

Иерархический способ формирования структуры обработки может быть 
использован для различных классов алгоритмов, покрывающих такие специфические 
предметные области, как биология, правоведение, астрономия и т.д., благодаря 
созданию неограниченного количества паттернов — от общих до уникальных. 
Отображение новых акций из конкретной предметной области может осуществляться 
простой заменой конкретных паттернов в реализующей иерархии. 

Структура ИС представлена на рис. 1, где Р — исходная программа. Каждая 
вершина ИС может интерпретироваться как многоугольник, количество вершин 
которого определяется многообразием предлагаемой обработки на каждом уровне, а 


К/ - ряд конкретизирующих паттернов, которые могут ветвиться до требуемого уровня. 


ооо 


Рисунок 1 — Общая структура ИС 


ИС всегда как бы настраивается на конкретную акцию. Действительно, сформи- 
ровав общее представление о цикле, мы распознаем его в любой программе, несмотря 
на то, что эту конкретную программу никогда не обрабатывали. 

Важно отслеживать, как будут меняться паттерны активности в динамике в 
зависимости от количества обработчиков, возможностей операционной системы и 
программного обеспечения вообще. 
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Методика проектирования параллельной обработки 


На сегодняшний день имеются различные средства для проектирования и описания 
параллельных процессов [2]. 

Разработаны специальные примитивы коммуникации и управления, позволяющие 
программисту создавать сценарии параллельного исполнения программ; имеются 
расширения последовательных языков специальными конструкциями, порождающими 
параллельные процессы (например, трС, НРЕ, НРС-++, СИК, Маче, МРИ. и др.); созданы 
языки параллельного программирования (Заха, МЕЗГ,, Огса, 51за|, РГ. и др.). 

С другой стороны, можно использовать специальные библиотеки (например, 
РУМ, МР1 и т.д.), позволяющие организовывать асинхронный обмен сообщениями 
между потоками и процессами. 

Организовать параллельную обработку можно, используя системные функции 
операционной системы, такие, например, как Рона е Орегайпе Зузет Пиегасе Юг 
МХ (РОЗ[Х). Это стандарты, описывающие интерфейсы между ОС и прикладной 
программой. В пределах РОЗХ параллельные вычисления реализуются на основе 
обмена сообщениями (как в МР!) или разделяемой памяти (как в ОрепМР). 

Общий недостаток этих методов состоит в том, что очень большой объем 
работы по организации параллельной обработки возлагается на программиста. 
В связи с этим возникает задача минимизации ручной работы при проектировании 
параллельных программ и организации параллельной обработки данных. 

Количество строк кода для параллельной программы значительно превышают 
объем кода для последовательного исполнения при программировании одной и 
той же задачи. Параллельный подход требует решения ряда дополнительных 
проблем, среди которых порождение и обработка синхронных событий, параллельные 
потоки, планирование и т.д. Если речь идет о многоядерных процессорах, то 
здесь могут использоваться различные модели многопроцессорности: асимметричная 
АМР для обеспечения управления и отказоустойчивости, симметричная ЭМР, 
поддерживающая масштабируемость и максимальный параллелизм, исключительная 
ВМР, снижающая трудоемкость построения и миграцию кода. 

В последнее время большие надежды для повышения эффективности решения 
задач, требующих большого объема вычислений, возлагают на От14-системы, объединя- 
ющие огромное количество компьютеров, их программное обеспечение, средства 
коммуникаций и профессиональные человеческие ресурсы. Однако разработка и 
внедрение таких систем нуждается в решении ряда задач по координации работы и 
защите информации. Среди последних — проблемы аутентификации и авторизации, 
биллинга и аудита, строгого выполнения обязательств, конфиденциальности и 
целостности информации. 

Организация параллельных вычислений предполагает разработку программной 
поддержки проектирования параллельных программ и организацию параллельной 
обработки данных. 

Для решения первой части задачи, т.е. проектирования параллельных программ, 
введем конечное множество операторов Т = {Ту, Т», ... Т,} и множество условий 


и = ‚и'„..и’ } Оператор Т; осуществляет некоторое преобразование исходной 
программы Ро, проверяя серию условий |. При этом условие и! является условием 
применимости оператора Т; к текущему состоянию программы Ро. Если условие 
применимости и! не выполняется, то оператор Т; оставляет текущее состояние 
программы без изменения. 
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Для каждого оператора Т; задается 5; функций /’, /.,..., Г р Если оказывается, 


что оператор Т; применим к Ро, то проверяются последовательно условия и, из.... и; и 
выполняются соответствующие преобразования программы, реализуя функции И 


Завершив последовательную трансформацию Ро, мы получим ее параллельный 
функциональный эквивалент. Под функциональной эквивалентностью понимается 
следующее: при одном и том же входном наборе данных обе программы Ри Р, дают 
один и тот же результат. 

Схематично процесс преобразования может быть представлен следующим 
образом: 


Р-Р 5Р->..®Р. 


где Ро исходная программа, Р; — параллельная программа. 

Укажем на две из возможных реализаций данной схемы. 

При первой реализации можно предварительно разбить Ро на фрагменты и вдоль 
программы расставить метки, специфицирующие каждый фрагмент. Тогда условие и! 
определяет, может ли данный фрагмент быть преобразован оператором Т:. Если нет, то 
проверяется условие и!’' на предмет применимости оператора Т»1 к данному 
фрагменту, и так до тех пор, пока не будет найден преобразующий его оператор. Если 
ни один из операторов Т; не применим к данному фрагменту, то последний остается без 
изменения и переходим к следующему. 

Вторая реализация может быть следующей. Проверяется первый фрагмент 
программы на применимость оператора Ти, затем проверяется второй фрагмент, и 
так до тех пор, пока не будет обнаружен фрагмент, реализуемый оператором Т\. 
Таким же образом применяются остальные операторы. 

Если проверка применимости оператора Т! оказалась неуспешной, проверяется 
возможность применения оператора Т»›, и так до последнего оператора. 

Предложенная схема преобразования Ру —> Р, апробирована на одном классе 
последовательных программ и подтвердила целесообразность ее конкретизации, 
наполнения необходимыми процедурами, реализующими операторы Ть, и применения к 
проектированию параллельных программ. 

Ясно, что особое внимание следует уделять эффективности реализации 


функций /;, реализующих повторяющиеся фрагменты программы. Это объясняется 


тем, что ациклические участки в типичной ситуации выполняются лишь один раз, а 
фрагменты внутри циклов — многократно. 

Организация параллельной обработки данных может быть решена посредством 
разбиения исходных данных на отдельные кванты. Кванты формируются таким 
образом, что они могут обрабатываться независимо. По завершению обработки идет 
интеграция полученного результата [3]. 

Предлагается процесс квантования базировать на перекодировке исходных 
данных в систему в коде вычетов (СКВ). В зависимости от свойств выбранной 
системы модулей алгоритм преобразования чисел из позиционной системы 
счисления (ПСС) в СКВ и обратно будет иметь различную сложность. В частности, 


если обобщить СКВ до безранговой СКВ (БСКВ), алгоритм преобразования ПСС й СКВ 


будет проще алгоритма преобразования ПСС в двоичную систему и обратно. 
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Формула перевода из безранговой системы в ПСС будет иметь вид 
Апсс = ЕВ, 
1 


где х; — разряды (кванты) числа А в БСКВ в системе модулей Мь М» ..., Мь 
являющиеся наименьшими вычетами числа А по данным модулям, а /} - 


р 

ортогональные базисы, которые ищутся среди чисел вида т; М „ тдеряр т: - 
15 

веса ортогональных базисов, принимающих значения 1,2, ..., М;- 1. 

Для анализа эффективности обработки данных предложенным способом выбраны 
три задачи: перемножение двух матриц, сортировка строк матрицы по возрастанию 
методом «пузырька», нахождение элемента матрицы с наибольшей суммой остатков от 
деления на элементы вектора. Задачи имеют одинаковую сложность вычислений, но 
различный удельный вес немодульных операций и допускают возможность изменения 
размерности задачи в процессе испытаний. 

Результаты эксперимента приведены на рис. 2. 


озоооо* ВРемя, млс 


220000 
210000- 
200000 


130007 Фиксированное количество оснований системы (п = 10) 
1800001 


170001 Компьютер | Сеегоп 3,5 @Н2, 1СВ БОВ 
1600001 
1500001 
140000 
1300001 
1200001 
1100001 
1000001 
900001 
800001 
700001 
600001 
500001 
400001 
300001 Зее? 
200001 


100001 оняни=е" 
ОСЬ = ——— Размерность задачи 


вы + + + + + + + 
о 10 20 30 40 50 50 Но 80 30 100 110 120 130 140 150 — 160 170 180 190 200 


— — Задача 1: Перемножение двух матриц 
жжннни. Задача 2: Сортировка матрицы 
Задача 3: Поиск элемента матрицы с максимальной суммой остатков от деления на элементы вектора 


Рисунок 2 — Сравнение времени вычислений выбранных задач 
в зависимости от их размерности 
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Как и предполагалось, наибольшее время обработки имеет задача, алгоритм ре- 
шения которой содержит наибольшее количество немодульных операций. Иссле- 
дования показывают, что максимальный эффект при использовании БСКВ получаем 
при обработке данных с небольшим количеством немодульных операций. Среди 
последних можно выделить операции сравнения и определения знака. 


Заключение 


Предложенная методика проектирования параллельной обработки является плат- 
форменно независимой, а качество ее применения в существенной степени зависит 
от эффективности реализации. 

Для улучшения параметров обработки данных следует упрощать алгоритмы вы- 
полнения немодульных операций. 

Разработанные программы могут быть использованы как при работе в 
компьютерной сети, так и в многопроцессорных системах. Они могут быть с успехом 
использованы и в мобильных центрах, производство которых наладила компания Зип 
Мисгозуепз. Их система Рго]есё ЕЙасКбох смонтирована в обычном шестиметровом 
транспортном контейнере. В нем могут размещаться до 250 серверов, с общим объемом 
памяти до 7 Тбайт и емкостью дисковых накопителей более 2 Рбайт. Это вполне 
обеспечит обслуживание до 10“ работающих на персональных компьютерах. Мобильный 
центр обойдется (по утверждению разработчиков) на два порядка дешевле традиционного 
компьютерного центра такой же мощности. 
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М.К. Буза 

Технолойчний шдхщ до проектування паралельно: обробки 

У статт! запропонований концептуальний шдхд 1 методика проектування паралельних програм 1 
метод прискорено! обробки даних. 


М.К. Виза 
Опе Тесппо1обу УУау о? РагаПе! Ргосез$т? 
Сопсерта] \’ау, зузет оЁ 4ез1еп рагаПе] ргоэтат ап зрее4 тео о дайа ргосеззте аге зиссезве4. 


Статья поступила в редакцию 24.06.2008. 
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